Từ khi rời Tòa Bạch Ốc, Carter trở về sống trong nông trang ở Georgia, để biết mình đang mắc một khoản nợ lên đến một triệu USD, do đã tin cậy những người được ủy thác quản lý tài sản trong thời gian ông tại chức - nhằm mục đích tránh tình trạng xung đột lợi ích khi ông đang phục vụ đất nước trong cương vị tổng thống. Carter tập trung viết sách để trả nợ, tất cả 23 cuốn sách của ông đều được công luận đón nhận rộng rãi, trong số đó có vài quyển là sách bán chạy nhất. Đồng thời, ông cũng dành thì giờ để thành lập Trung tâm Carter và xây dựng thư viện tổng thống[10]

Trong lịch sử nước Mỹ, cựu Tổng thống Jimmy Carter và cựu Phó Tổng thống Walter Mondale là những người từng đứng chung liên danh còn sống lâu nhất sau khi rời chức vụ. Đến ngày 23 tháng 5 năm 2006, Carter và Mondale đã rời nhiệm sở 25 năm và 123 ngày, vượt qua kỷ lục của Tổng thống John Adams và Phó Tổng thống Thomas Jefferson. Adams và Jefferson qua đời trong cùng một ngày – 4 tháng 7 năm 1826.

Ngoại giao

Các cựu Tổng thống Gerald Ford, Richard Nixon, Tổng thống George H. W. Bush, các cựu Tổng thống Ronald Reagan và Jimmy Carter tại lễ khánh thành Thư viện Tổng thống ReaganTổng thống Carter hồi tháng 9 năm 2019

Năm 1994, Carter đến Bắc Triều Tiên theo yêu cầu của Tổng thống Clinton,[18] khi cuộc khủng hoảng Bán đảo Triều Tiên đang nóng dần do Bắc Triều Tiên trục xuất nhóm thanh tra của Cơ quan Năng lượng Nguyên tử Quốc tế và doạ sẽ bắt đầu xử lý nhiên liệu hạt nhân đã qua sử dụng. Cuộc hội kiến giữa Carter và Kim Il Sung dẫn đến việc ký kết bản thoả hiệp khung, theo đó Bắc Triều Tiên đồng ý ngưng xử lý nhiên liệu hạt nhân đổi lấy việc bình thường hoá bang giao với Mỹ, được nhập dầu và hai lò phản ứng nước nhẹ để thay thế lò graphite của họ. Nhưng Bắc Triều Tiên đã không tuân thủ thoả ước và tìm cách che giấu những vi phạm của họ.

Dù công luận khen ngợi bản thoả ước khung do Jimmy Carter thương thảo như là một thành quả ngoại giao, Bắc Triều Tiên không có ý định chấm dứt chương trình chế tạo vũ khí hạt nhân.[19] Năm 2005, Bắc Triều Tiên tuyên bố đã có vũ khí hạt nhân.

Tháng 5 năm 2002, Carter đến thăm Cuba, gặp Fidel Castro và nói chuyện với công chúng Cuba qua hệ thống truyền hình quốc gia, ông viết và đọc bài diễn văn bằng tiếng Tây Ban Nha. Sự kiện này biến Carter thành tổng thống đầu tiên của Hoa Kỳ, đương nhiệm hoặc mãn nhiệm, đến thăm đảo quốc này kể từ cuộc cách mạng năm 1959 mặc dù khi đương nhiệm ông đã không chịu dỡ bỏ lệnh cấm vận.

Tháng 6 năm 2005, Carter kêu gọi đóng cửa nhà tù Vịnh Guantanamo ở Cuba, địa danh đã trở nên tâm điểm của những lời than phiền về những ngược đãi tù nhân.

Không phải mọi nỗ lực của Carter đều có được sự ủng hộ của Washington; người ta thuật lại rằng các tổng thống Clinton, George H. W. Bush và George W. Bush tỏ ra không hài lòng về những hoạt động ngoại giao "tự do" của Carter ở Iraq và những nơi khác.[20] Những người chỉ trích cho rằng những nỗ lực ngoại giao của Carter (lúc đương nhiệm hoặc mãn nhiệm) là chân thật và có thiện ý, nhưng ông thường thiếu hiểu biết về ẩn ý của những nhà lãnh đạo nước ngoài thiếu thiện chí.[21]

Tháng 10 năm 2007, Carter đến thăm Darfur cùng với các nhà lãnh đạo châu Phi, trong đó có Tổng Giám mục Anh giáo Desmond Tutu, nhưng bị lực lượng an ninh Sudan ngăn cản. Điều này dẫn đến những tranh cãi gay gắt giữa cựu tổng thống Mỹ và giới chức an ninh Sudan.[22]

Hoạt động nhân đạo

Từ sau thất bại trong nỗ lực tái tranh cử, Carter, qua Trung tâm Carter, tham gia tích cực vào các lĩnh vực như chính sách công quốc gia và quốc tế, tìm kiếm giải pháp cho các cuộc tranh chấp, nhân quyền và những hoạt động từ thiện. Ông thành lập Trung tâm Carter ngay sau khi rời Tòa Bạch Ốc, hiện nay cùng với vợ, Rosalynn, đang là đồng chủ tịch trung tâm. Trung tâm Carter tập chú vào các hoạt động như chương trình chăm sóc sức khoẻ với quy mô toàn cầu, trong đó có chiến dịch kiểm soát bệnh sán guinea. Carter và các thành viên khác của trung tâm thường tham gia các hoạt động giám sát tiến trình bầu cử nhằm ủng hộ các cuộc bầu cử tự do và công bằng. Họ đến châu Phi và châu Mỹ Latin với tư cách quan sát viên bầu cử.

Carter và Rosalynn được nhiều người biết tiếng qua sự cộng tác của họ với Tổ chức Hỗ trợ Gia cư Habitat (Habitat for Humanity), một tổ chức từ thiện Cơ Đốc chuyên xây dựng nhà ở cho người nghèo. Sau thất bại trong nỗ lực ở lại Tòa Bạch Ốc cho nhiệm kỳ thứ hai, Carter đến với Habitat trong năm 1984. Từ đó, Carter và vợ mỗi năm dành một tuần lễ cùng làm việc với các thiện nguyện viên khác của tổ chức từ thiện này xây dựng nhà ở cho người nghèo.[23]

Jimmy Carter là tổng thống Hoa Kỳ thứ ba, sau Theodore Roosevelt và Woodrow Wilson, được trao Giải Nobel Hòa bình. Trong bài diễn văn nhận giải, đọc trước một cử tọa đoàn Âu châu, ông nói rằng hành động của Hoa Kỳ sau khi quân đội Liên Xô tiến vào Afghanistan, Chiến tranh vùng Vịnh năm 1991, cũng giống NATO, là sự tiếp nối chủ thuyết an ninh tập thể của Tổng thống Wilson.[24]

Chính trị Mỹ

Tổng thống George W. Bush mời các cựu Tổng thống George H. W. Bush, Bill Clinton và Jimmy Carter và Tổng thống tân cử Barack Obama vì một cuộc họp và ăn trưa tại Tòa Bạch Ốc.

Carter là bạn rất thân với người tiền nhiệm Gerald Ford, bất kể sự kiện ông là người đánh bại Tổng thống Ford trong kỳ bầu cử tổng thống năm 1976. Carter và vợ thường xuyên đến thăm nhà ông bà Ford.

Ngày 26 tháng 12 năm 2006, tờ New York Times thuật lại rằng, theo yêu cầu của Ford, người kế nhiệm ông, cựu Tổng thống Jimmy Carter, sẽ là người đọc điếu văn trong tang lễ của ông, "Ông Ford đề nghị người kế nhiệm xem xét việc đọc điếu văn trong tang lễ của ông; ngược lại ông sẽ làm như vậy trong tang lễ của Carter, phụ thuộc vào việc người nào sẽ ra đi trước."[25] Ngày 3 tháng 1 năm 2007, Carter đọc bài điếu văn đầy cảm xúc trong tang lễ của Gerald Ford cử hành tại Nhà thờ Grace Episcopal (Anh giáo) ở East Grand Rapids.

Năm 2001, Carter tỏ ra bất bình với lệnh ân xá gây nhiều tranh cãi của Tổng thống Clinton dành cho Marc Rich, gọi nó là "một sự ô nhục" và cho rằng chính số tiền 520 triệu USD Rich đóng góp cho Đảng Dân chủ là nhân tố dẫn đến quyết định ân xá của Clinton.[26]

Tháng 3 năm 2004, Carter công khai chỉ trích George W. Bush và Tony Blair vì đã tiến hành một cuộc chiến không cần thiết, chỉ "dựa trên những lời nói dối và những giải thích sai lệch" nhằm đánh đổ Saddam Hussein. Ông cho rằng Blair đã để những phán đoán chính xác hơn của mình bị tác động bởi định ý của Bush muốn kết thúc cuộc chiến mà cha ông ấy (George H. W. Bush) đã bắt đầu. Tháng 8 năm 2006, Carter chỉ trích Blair là "phụ thuộc" chính phủ Bush, cáo buộc Blair ủng hộ mà không hề tra vấn chính sách "cực đoan hoặc thiếu sáng suốt" của Bush.[27] Ngày 19 tháng 5 năm 2007, khi Blair thực hiện chuyến viếng thăm sau cùng đến Iraq trong cương vị Thủ tướng Anh, Carter sử dụng cơ hội này để đả kích Blair. Ông nói với đài BBC rằng rõ ràng là Blair "phục tùng" Bush và dành sự ủng hộ mù quáng cho Iraq.[28] Carter hi vọng Gordon Brown, người kế nhiệm Blair, sẽ "ít nhiệt tình hơn" đối với chính sách của Bush về Iraq.[29]

Tuyên dương

nhỏ|Chân dung chính thức ở Toà Bạch Ốc của Tổng thống Jimmy CarterCarter được trao bằng danh dự tại nhiều trường đại học ở Mỹ như Harvard, Bates và Đại học Pennylvania.

Ngày 22 tháng 11 năm 2004, Thống đốc thuộc Đảng Cộng hòa của Tiểu bang New York, George Pataki bổ nhiệm Carter và các cựu tổng thống khác hiện còn sống, Gerald Ford, George H. W. Bush, và Bill Clinton, là những thành viên danh dự của ban tái thiết tòa nhà World Trade Center.

Do đã phục vụ trong một tiềm thuỷ đỉnh (tổng thống duy nhất từng làm điều này), một tiềm thuỷ đỉnh được chọn để đặt theo tên của Carter. Tiềm thuỷ đỉnh USS Jimmy Carter (SSN-23) được đặt tên vào ngày 27 tháng 4 năm 1998 khiến nó trở nên một trong số rất ít phương tiện của Hải quân Hoa Kỳ được đặt tên theo một nhân vật còn sống.

Carter nhận dạy một lớp học Trường Chúa Nhật tại nhà thờ Baptist Maranatha ở thị trấn Plain, tiểu bang Georgia. Thông thạo nghề mộc, thỉnh thoảng Carter xuất hiện trên những trang báo của tạp chí Fine Wood Working của nhà xuất bản Taunton Press, ông cũng sử dụng kỹ năng này khi tham gia xây dựng nhà ở cho người nghèo trong các đề án của Tổ chức Hỗ trợ Gia cư Habitat.

Carter là khách mời tại những buổi lễ như lễ khánh thành thư viện của các tổng thống Ronald Reagan, George H. W. Bush, Bill Clinton và George W. Bush. Ông cũng tham dự nhiều diễn đàn, buổi diễn thuyết, uỷ ban, tang lễ và các sự kiện khác. Gần đây nhất, ông đọc điếu văn tại tang lễ của Coretta Scott King, vợ của nhà lãnh đạo Phong trào Dân quyền Mỹ Martin Luther King, Jr.. Ông là hội viên danh dự của Câu lạc bộ Madrid.

Năm 1997, ông được trao Giải Indira Gandhi.

Năm 1998, ông được trao Giải Nhân quyền của Liên Hiệp Quốc.